Disentangled representation learning remains challenging as ground truth factors of variation do not naturally exist. To address this, we present Vocabulary Disentanglement Retrieval~(VDR), a simple yet effective retrieval-based disentanglement framework that leverages nature language as distant supervision. Our approach is built upon the widely-used bi-encoder architecture with disentanglement heads and is trained on data-text pairs that are readily available on the web or in existing datasets. This makes our approach task- and modality-agnostic with potential for a wide range of downstream applications. We conduct experiments on 16 datasets in both text-to-text and cross-modal scenarios and evaluate VDR in a zero-shot setting. With the incorporation of disentanglement heads and a minor increase in parameters, VDR achieves significant improvements over the base retriever it is built upon, with a 9% higher on NDCG@10 scores in zero-shot text-to-text retrieval and an average of 13% higher recall in cross-modal retrieval. In comparison to other baselines, VDR outperforms them in most tasks, while also improving explainability and efficiency.

多机器人覆盖计划问题的集中式方法缺乏可扩展性。基于学习的分布式算法除了将面向数据的功能生成功能带入表格外，还提供了可扩展的途径，从而允许与其他基于学习的方法集成。为此，我们提出了一个基于学习的，可区分的分布式覆盖范围计划（D2COPL A N），该计划者与专家算法相比在运行时和代理数量上有效地扩展，并与经典分布式算法相同。此外，我们表明D2Coplan可以与其他学习方法无缝地结合到端到端的学习方法，从而提供了比单独训练的模块更好的解决方案，从而打开了进一步的研究，以进一步研究以经典方法难以捉摸的任务。

主动映射的传统方法专注于构建几何图。但是，对于大多数真实世界应用程序，可行的信息与环境中的语义有意义的对象有关。我们提出了一种用于主动度量语义映射问题的方法，该方法使多个异质机器人能够协作构建环境地图。这些机器人积极探索以最大程度地减少语义（对象分类）和几何（对象建模）信息中的不确定性。我们使用信息丰富但稀疏的对象模型表示环境，每个模型由基本形状和语义类标签组成，并使用大量现实世界数据在经验上表征不确定性。鉴于先前的地图，我们使用此模型为每个机器人选择动作以最大程度地减少不确定性。通过多种现实世界环境中的多机器人实验证明了我们的算法的性能。所提出的框架适用于广泛的现实问题，例如精确农业，基础设施检查和工厂中的资产映射。

共识算法通过使多个机器人能够收敛到仅使用本地通信的全局变量的一致估计来构成许多分布式算法的基础。但是，标准共识协议可以轻松地由非合作团队成员误入歧途。因此，对于设计弹性分布式算法是必要的，对共识的弹性形式的研究是必要的。 W-MSR共识是一种这样的有弹性共识算法，它允许仅具有通信图的本地知识，而没有用于共享数据的先验模型。但是，给定通信图满足严格的图形连接要求的验证使W-MSR在实践中难以使用。在本文中，我们显示了机器人文献中常用的通信图结构，即基于Voronoi Tessellation构建的通信图，自动产生足够连接的图以拒绝单个非合作团队成员。此外，我们展示了如何增强该图，以拒绝两个非合作团队成员，并为修改进一步的弹性提供路线图。这项贡献将允许在已经依赖基于Voronoi的通信（例如分布式覆盖范围和探索算法）的算法中轻松应用弹性共识。

我们考虑一个设置机器人团队的任务是跟踪以下属性的多个目标：接近目标可以实现更准确的目标位置估计，同时也增加了传感器故障的风险。因此，要解决跟踪质量最大化和风险最小化之间的权衡至关重要。在我们以前的工作中，开发了一个集中式控制器来规划所有机器人的动作 - 但是，这不是可扩展的方法。在这里，我们提出了一个分散且具有风险的多目标跟踪框架，在该框架中，每个机器人都计划其运动交易的跟踪准确性最大化和厌恶风险，同时仅依靠其与邻居交流的信息和信息。我们使用控制屏障函数来保证整个跟踪过程中的网络连接。广泛的数值实验表明，我们的系统可以达到与集中式同行相似的跟踪准确性和风险意识。

在本文中，我们介绍了基于大型预训练的语言模型（PLM）pangu-alpha（Zeng等，2021）的中国预训练的开放域对话生成模型。与其他对大量对话数据进行培训的预训练的对话模型不同，我们旨在通过继承PLM的有价值的语言能力和知识来构建强大的对话模型，并以相对较少的数据和计算成本构建强大的对话模型。为此，我们训练大型PLM Pangu-Alpha的Pangu-bot，该机器人已被证明在各种中国自然语言任务上表现出色。我们研究了pangu-bot产生的响应的不同方面，包括响应质量，知识和安全性。我们表明，Pangu-Bot优于最先进的中国对话系统（CDIALGPT（Wang等，2020），Eva（Zhou等，2021），EVA2.0（Gu等，2022）） W.R.T.以上三个方面。我们还证明，可以轻松地部署pangu-bot，以在没有进一步训练的情况下产生情感反应。在整个经验分析中，我们还指出，Pangu-bot响应质量，知识正确性和安全性仍然远非完美，进一步的探索对于建立可靠且智能的对话系统是必不可少的。我们的型号和代码将在https://github.com/huawei-noah/pretretaining-language-model/tree/master/master/pangu-bot上提供。

分散的多机器人目标跟踪的问题要求共同选择动作，例如运动原语，以使机器人通过本地通信最大化目标跟踪性能。实施实施的一个主要挑战是使目标跟踪方法可扩展到大规模的问题实例。在这项工作中，我们提出了通用学习体系结构，以通过分散的通信进行大规模的协作目标跟踪。特别是，我们的学习体系结构利用图形神经网络（GNN）捕获机器人的本地互动，并学习机器人的分散决策。我们通过模仿专家解决方案来训练学习模型，并实施仅涉及本地观察和沟通的分散行动选择的最终模型。我们在使用大型机器人网络的主动目标跟踪方案中演示了基于GNN的学习方法的性能。仿真结果表明，我们的方法几乎与专家算法的跟踪性能相匹配，但最多可以使用多达100个机器人运行多个订单。此外，它的表现略高于分散的贪婪算法，但运行速度更快（尤其是20多个机器人）。结果还显示了我们在以前看不见的情况下的方法的概括能力，例如，较大的环境和较大的机器人网络。

多路径定向问题询问机器人团队的路径最大化收集的总奖励，同时满足路径长度上的预算约束。这个问题模拟了许多多机器人路由任务，例如探索未知的环境和环境监控信息。在本文中，我们专注于如何使机器人团队在对抗环境中运行时对故障的强大。我们介绍了强大的多路径定向事问题（RMOP），在那里我们寻求最糟糕的案例保证，反对能够在大多数$ \ Alpha $机器人处攻击的对手。我们考虑两个问题的两个版本：RMOP离线和RMOP在线。在离线版本中，当机器人执行其计划时，没有通信或重新扫描，我们的主要贡献是一种具有界限近似保证的一般近似方案，其取决于$ \ alpha $和单个机器人导向的近似因子。特别是，我们表明该算法在成本函数是模块化时产生（i）恒因子近似; （ii）在成本函数是子模具时，$ \ log $因子近似; （iii）当成本函数是子模块时的恒因子近似，但是允许机器人通过有界金额超过其路径预算。在在线版本中，RMOP被建模为双人顺序游戏，并基于蒙特卡罗树搜索（MCT），以后退地平线方式自适应解决。除了理论分析之外，我们还对海洋监测和隧道信息收集应用进行仿真研究，以证明我们的方法的功效。

Recently, domain-specific PLMs have been proposed to boost the task performance of specific domains (e.g., biomedical and computer science) by continuing to pre-train general PLMs with domain-specific corpora. However, this Domain-Adaptive Pre-Training (DAPT; Gururangan et al. (2020)) tends to forget the previous general knowledge acquired by general PLMs, which leads to a catastrophic forgetting phenomenon and sub-optimal performance. To alleviate this problem, we propose a new framework of General Memory Augmented Pre-trained Language Model (G-MAP), which augments the domain-specific PLM by a memory representation built from the frozen general PLM without losing any general knowledge. Specifically, we propose a new memory-augmented layer, and based on it, different augmented strategies are explored to build the memory representation and then adaptively fuse it into the domain-specific PLM. We demonstrate the effectiveness of G-MAP on various domains (biomedical and computer science publications, news, and reviews) and different kinds (text classification, QA, NER) of tasks, and the extensive results show that the proposed G-MAP can achieve SOTA results on all tasks.

Large pretrained language models can easily produce toxic or biased content, which is prohibitive for practical use. In order to detect such toxic generations, existing methods rely on templates, real-world data extraction, crowdsourcing workers, or automatic generation to construct adversarial contexts that are likely to induce toxic generations. However, what type of context is more likely to induce unsafe responses is still under-explored. In this paper, we identify that context toxicity and context category (e.g., \textit{profanity}, \textit{insult}, \textit{drugs}, etc.) are two important factors to cause safety issues in response generation. Hence, we propose a method called \emph{reverse generation} to construct adversarial contexts conditioned on a given response, with the flexibility to control category, toxicity level, and inductivity of the generated contexts. Via reverse generation, we augment the existing BAD dataset and construct a new dataset BAD+ which contains more than 120K diverse and highly inductive contexts in 12 categories. We test three popular pretrained dialogue models (Blender, DialoGPT, and Plato2) and find that BAD+ can largely expose their safety problems. Furthermore, we show that BAD+ can greatly enhance the safety of generation and reveal the key factors of safety improvement. Our code and dataset is available at \url{https://github.com/thu-coai/Reverse_Generation}.